The ability to distinguish between different movie scenes is critical for understanding the storyline of a movie. However, accurately detecting movie scenes is often challenging as it requires the ability to reason over very long movie segments. This is in contrast to most existing video recognition models, which are typically designed for short-range video analysis. This work proposes a State-Space Transformer model that can efficiently capture dependencies in long movie videos for accurate movie scene detection. Our model, dubbed TranS4mer, is built using a novel S4A building block, which combines the strengths of structured state-space sequence (S4) and self-attention (A) layers. Given a sequence of frames divided into movie shots (uninterrupted periods where the camera position does not change), the S4A block first applies self-attention to capture short-range intra-shot dependencies. Afterward, the state-space operation in the S4A block is used to aggregate long-range inter-shot cues. The final TranS4mer model, which can be trained end-to-end, is obtained by stacking the S4A blocks one after the other multiple times. Our proposed TranS4mer outperforms all prior methods in three movie scene detection datasets, including MovieNet, BBC, and OVSD, while also being $2\times$ faster and requiring $3\times$ less GPU memory than standard Transformer models. We will release our code and models.

Vision transformers (ViTs) have achieved impressive results on various computer vision tasks in the last several years. In this work, we study the capability of frozen ViTs, pretrained only on visual data, to generalize to audio-visual data without finetuning any of its original parameters. To do so, we propose a latent audio-visual hybrid (LAVISH) adapter that adapts pretrained ViTs to audio-visual tasks by injecting a small number of trainable parameters into every layer of a frozen ViT. To efficiently fuse visual and audio cues, our LAVISH adapter uses a small set of latent tokens, which form an attention bottleneck, thus, eliminating the quadratic cost of standard cross-attention. Compared to the existing modality-specific audio-visual methods, our approach achieves competitive or even better performance on various audio-visual tasks while using fewer tunable parameters and without relying on costly audio pretraining or external audio encoders. Our code is available at https://genjib.github.io/project_page/LAVISH/

The last several years have witnessed remarkable progress in video-and-language (VidL) understanding. However, most modern VidL approaches use complex and specialized model architectures and sophisticated pretraining protocols, making the reproducibility, analysis and comparisons of these frameworks difficult. Hence, instead of proposing yet another new VidL model, this paper conducts a thorough empirical study demystifying the most important factors in the VidL model design. Among the factors that we investigate are (i) the spatiotemporal architecture design, (ii) the multimodal fusion schemes, (iii) the pretraining objectives, (iv) the choice of pretraining data, (v) pretraining and finetuning protocols, and (vi) dataset and model scaling. Our empirical study reveals that the most important design factors include: temporal modeling, video-to-text multimodal fusion, masked modeling objectives, and joint training on images and videos. Using these empirical insights, we then develop a step-by-step recipe, dubbed VindLU, for effective VidL pretraining. Our final model trained using our recipe achieves comparable or better than state-of-the-art results on several VidL tasks without relying on external CLIP pretraining. In particular, on the text-to-video retrieval task, our approach obtains 61.2% on DiDeMo, and 55.0% on ActivityNet, outperforming current SOTA by 7.8% and 6.1% respectively. Furthermore, our model also obtains state-of-the-art video question-answering results on ActivityNet-QA, MSRVTT-QA, MSRVTT-MC and TVQA. Our code and pretrained models are publicly available at: https://github.com/klauscc/VindLU.

视频检索随着视觉模型的发展取得了巨大进展。但是，进一步改进这些模型需要其他标记的数据，这是一项巨大的手动努力。在本文中，我们提出了一个框架MKTVR，该框架利用了从多语言模型的知识转移来提高视频检索的性能。我们首先使用最先进的机器翻译模型来构建伪真实的多语言视频文本对。然后，我们使用这些数据来学习视频文本表示，其中英语和非英语文本查询在基于预审前的多语言模型的常见嵌入空间中表示。我们在四个英语视频检索数据集上评估了我们提出的方法，例如MSRVTT，MSVD，DIDEMO和CHARADES。实验结果表明，我们的方法在所有数据集上实现了最先进的结果，超过了先前的模型。最后，我们还在涵盖六种语言的多语言视频回程数据集上评估了我们的模型，并表明我们的模型在零拍设置中优于先前的多语言视频检索模型。

本报告描述了我们的提交称为“ tarheels”的EGO4D：对象状态变更分类挑战。我们使用基于变压器的视频识别模型，并利用分隔的时空注意机制来对以中心视频的对象状态变化进行分类。我们的提交在挑战中取得了第二好的表现。此外，我们进行了一项消融研究，以表明识别以egipentric视频中的对象状态变化需要时间建模能力。最后，我们提出了几个积极和负面的例子，以可视化模型的预测。该代码可公开可用：https：//github.com/md-mohaiminul/ObjectStateChange

大多数传统的文本到视频检索系统都在静态环境中运行，即，除了用户提供的初始文本查询之外，用户与代理之间没有相互作用。如果初始查询具有歧义，这可能是最佳的，这将导致许多错误的视频检索。为了克服这一限制，我们提出了一个新颖的框架，用于使用对话框（VIRED）进行视频检索，该框架使用户能够通过多轮对话框与AI代理进行交互，用户通过回答由AI代理产生的问题来完善结果的结果。我们的新颖的多模式问题生成器学会了提出问题，以最大程度地提高随后的视频检索性能，使用（i）在与用户的最后一轮互动中检索到的视频候选者以及（ii）基于文本的对话框历史记录所有以前的交互，以生成生成生成结合了与视频检索相关的视觉和语言提示的问题。此外，为了产生最大信息的问题，我们提出了一个信息引导的监督（IGS），该监督指导生成器提出问题，以提高随后的视频检索准确性。我们在AVSD数据集上验证了我们的交互式驾驶框架的有效性，这表明我们的交互式方法的性能明显优于传统的非交互式视频检索系统。我们还证明，我们提出的方法将涉及与真实人类互动的现实环境推广，从而证明了我们框架的稳健性和普遍性

我们介绍了一种视听方法，用于远程文本到视频检索。与以前专为简短视频检索设计的方法（例如，持续时间为5-15秒）不同，我们的方法旨在检索捕获复杂人类动作的长时间视频。仅标准视频方法的一个挑战是与从这样的长视频中处理数百个密集提取的帧相关的大量计算成本。为了解决这个问题，我们建议用紧凑的音频提示替换视频的部分，这些线索简洁地汇总了动态音频事件，并且处理便宜。我们的方法称为Eclipse（带有声音编码的有效剪辑），通过添加一个统一的视听变压器块，将流行的剪辑模型调整为视听视频设置，该块从视频和音频流中捕获互补的提示。除了比仅长期视频的方法快2.92倍和2.34倍的内存效率外，我们的方法还可以在几个不同的远程视频数据集上，例如ActivityNet，QVHighighlights，Youcoook2，Youcoook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2， Didemo和Charades。

大多数现代视频识别模型旨在在短视频剪辑上运行（例如，长度为5-10）。因此，将此类模型应用于长时间的电影理解任务是一项挑战，通常需要复杂的长期时间推理。最近引入的视频变形金刚通过使用远程时间自我注意来部分解决此问题。但是，由于自我注意力的二次成本，这种模型通常是昂贵且不切实际的。取而代之的是，我们提出了Vis4mer，这是一种有效的远程视频模型，结合了自我注意力的优势和最近引入的结构化状态空间序列（S4）层。我们的模型使用标准的变压器编码器进行短距离时空特征提取，以及多尺度的时间S4解码器，用于随后的远程时间推理。通过逐步减少每个解码器层处的时空特征分辨率和通道维度，Vis4mer在视频中学习了复杂的长期时空依赖性。此外，比相应的基于纯的自我注意力的模型，Vis4mer的价格更快为$ 2.63 \ times $ $，$ 8 \ times $ $ GPU内存。此外，Vis4mer实现最先进的结果，在长期视频理解（LVU）基准中，$ 9 $ 9 $长的电影视频分类任务中的$ 6 $。此外，我们表明我们的方法成功地将其推广到其他领域，从而在早餐和硬币程序活动数据集中取得了竞争成果。该代码可在以下网址公开获取：https：//github.com/md-mohaiminul/vis4mer。

时间动作定位中的大多数现代方法将此问题分为两个部分：（i）短期特征提取和（ii）远程时间边界定位。由于处理长期未修剪的视频引起的GPU内存成本很高，因此许多方法通过冷冻骨干或使用小型空间视频分辨率来牺牲短期功能提取器的代表力。由于最近的视频变压器模型，其中许多具有二次记忆复杂性，这个问题变得更糟。为了解决这些问题，我们提出了TallFormer，这是一种具有长期内存的记忆效率和端到端的可训练时间动作定位变压器。我们的长期记忆机制消除了在每个训练迭代期间处理数百个冗余视频帧的需求，从而大大减少了GPU的记忆消耗和训练时间。这些效率节省使我们（i）可以使用功能强大的视频变压器提取器，而无需冷冻主链或减少空间视频分辨率，而（ii）也保持了远距离的时间边界定位能力。只有RGB框架作为输入，没有外部动作识别分类器，TallFormer的表现优于先前的最先前的边距，在Thumos14上获得了59.1％的平均地图，而ActivityNet-1.3的平均地图为35.6％。该代码可公开：https：//github.com/klauscc/tallformer。

在本文中，我们考虑了从长时间的视频到几分钟的长视频进行分类的问题（例如，烹饪不同的食谱，烹饪不同的食谱，进行不同的家庭装修，创建各种形式的艺术和手工艺品）。准确地对这些活动进行分类，不仅需要识别构成任务的单个步骤，还需要捕获其时间依赖性。这个问题与传统的动作分类大不相同，在传统的动作分类中，模型通常在跨越几秒钟的视频上进行了优化，并且手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的培训能够识别程序活动的各个步骤，但由于长时间视频中手动注释时间界的超级注释，因此该领域的现有大规模数据集不包括此类段标签。为了解决这个问题，我们建议通过利用文本知识库（Wikihow）的遥远监督来自动确定教学视频中的步骤，其中包括对执行各种复杂活动所需的步骤的详细描述。我们的方法使用语言模型来匹配视频中自动转录的语音，以在知识库中逐步描述。我们证明，经过训练的视频模型可以识别这些自动标记的步骤（无手动监督）产生了在四个下游任务上实现卓越的概括性能的表示：识别程序活动，步骤分类，步骤预测和以自我为中心的视频分类。